我们提出了一个新框架，用于仅使用音频信号来提取有关场景的视觉信息。基于音频的方法可以克服基于视觉的方法的某些局限失败。因此，即使对于只有视觉信息感兴趣的应用程序，我们的框架基于多种学习，并且由两个步骤组成，因此基于音频的方法也可以很有用。首先，我们训练一个矢量定量的变异自动编码器，以了解我们感兴趣的特定视觉模态的数据歧管。其次，我们训练音频转换网络以将多通道音频信号映射到相应的视觉效果的潜在表示样本。我们证明我们的方法能够使用公开可用的音频/视觉数据集从音频中产生有意义的图像。特别是，我们考虑了来自音频的以下视觉方式的预测：深度和语义分割。我们希望我们的工作发现可以促进从音频中进行视觉信息提取的进一步研究。代码可在以下网址获得：https：//github.com/ubc-vision/audio_manifold。
translated by 谷歌翻译
图形数据库（GDB）启用对非结构化，复杂，丰富且通常庞大的图形数据集的处理和分析。尽管GDB在学术界和行业中都具有很大的意义，但几乎没有努力将它们与图形神经网络（GNNS）的预测能力融为一体。在这项工作中，我们展示了如何无缝将几乎所有GNN模型与GDB的计算功能相结合。为此，我们观察到这些系统大多数是基于或支持的，称为标记的属性图（LPG）的图形数据模型，在该模型中，顶点和边缘可以任意复杂的标签和属性集。然后，我们开发LPG2VEC，这是一种编码器，将任意LPG数据集转换为可以与广泛的GNN类直接使用的表示形式，包括卷积，注意力，消息通话，甚至高阶或频谱模型。在我们的评估中，我们表明，LPG2VEC可以正确保留代表LPG标签和属性的丰富信息，并且与与图形相比，与与图形相比，它提高了预测的准确性，而不管有针对性的学习任务或使用过的GNN模型，多达34％没有LPG标签/属性。通常，LPG2VEC可以将最强大的GNN的预测能力与LPG模型中编码的全部信息范围相结合，为神经图数据库铺平了道路，这是一类系统，其中维护的数据的绝大复杂性将从现代和未来中受益图机学习方法。
translated by 谷歌翻译
后处理整体预测系统可以改善天气预报，尤其是对于极端事件预测。近年来，已经开发出不同的机器学习模型来提高后处理步骤的质量。但是，这些模型在很大程度上依赖数据并生成此类合奏成员需要以高计算成本的数值天气预测模型进行多次运行。本文介绍了ENS-10数据集，由十个合奏成员组成，分布在20年中（1998-2017）。合奏成员是通过扰动数值天气模拟来捕获地球的混乱行为而产生的。为了代表大气的三维状态，ENS-10在11个不同的压力水平以及0.5度分辨率的表面中提供了最相关的大气变量。该数据集以48小时的交货时间针对预测校正任务，这实质上是通过消除合奏成员的偏见来改善预测质量。为此，ENS-10为预测交货时间t = 0、24和48小时（每周两个数据点）提供了天气变量。我们在ENS-10上为此任务提供了一组基线，并比较了它们在纠正不同天气变量预测时的性能。我们还评估了使用数据集预测极端事件的基准。 ENS-10数据集可在创意共享归因4.0国际（CC By 4.0）许可下获得。
translated by 谷歌翻译
在这项工作中，我们利用量子深的增强学习作为方法，以在三个模拟的复杂性的模拟环境中为简单的，轮式机器人学习导航任务。我们显示了与经典基线相比，在混合量子古典设置中训练有良好建立的深钢筋学习技术的参数化量子电路的相似性能。据我们所知，这是用于机器人行为的量子机学习（QML）的首次演示。因此，我们将机器人技术建立为QML算法的可行研究领域，此后量子计算和量子机学习是自治机器人技术未来进步的潜在技术。除此之外，我们讨论了当前的方法的限制以及自动机器人量子机学习领域的未来研究方向。
translated by 谷歌翻译
准确的真实量子系统模型对于调查其行为很重要，但难以弥补经验。在这里，我们报告了一种算法 - 量子模型学习代理（QMLA） - 逆向工程师Hamiltonian对目标系统的描述。我们在许多模拟实验中测试QMLA的性能，展示了候选人汉密尔顿模型设计的几种机制，同时娱乐了许多关于治疗研究系统的物理相互作用的性质的许多假设。当提供有限的先验信息和控制实验设置时，显示QMLA在大多数实例中识别真实模型。我们的协议可以探索ising，Heisenberg和Hubbard系列的模型并行，可靠地识别最能描述系统动态的家庭。我们通过纳入遗传算法制定新的假设模型，展示在大型模型空间上运行的QMLA。该特征传播到下一代的模型的选择基于ELO评级方案启发的客观函数，通常用于评估竞争对手，例如国际象棋和足球。在所有情况下，我们的协议查找与真实模型相比展出$ f_1 $ -score $ \ ge 0.88 $的型号，并且精确地识别了72％的案件中的真实模型，同时探索超过250,000美元的潜在模型的空间。通过测试目标系统实际发生的相互作用，QMLA是一种可行的工具，用于探索基本物理和量子器件的表征和校准。
translated by 谷歌翻译
深度学习的快速进步正在导致一系列快速变化的模型，对计算的需求急剧增长。但是，随着框架将性能优化专门针对流行网络的模式，它们隐含地限制了推动研究进展的新颖和多样化的模型。我们通过定义灵活和用户可定制的管道来优化基于数据运动最小化的任意深神经网络的培训来赋予深度学习研究人员的能力。管道始于Pytorch或ONNX中的标准网络，并通过逐步降低转换计算。我们定义了四个级别的通用转换级别，从局部操作员优化到全球数据运动减少。这些在以数据为中心的图形中间表示上运行，该表示在各个级别的抽象级别表达计算和数据移动，包括扩展基本运算符，例如其基础计算的卷积。设计的核心是管道的互动性和内省性质。每个部分都可以通过Python API扩展，并且可以使用GUI进行交互调整。我们在十个不同的网络上展示了竞争性能或加速性，交互式优化发现了高效网络中的新机会。
translated by 谷歌翻译
变形金刚是今天最重要的机器学习工作负载之一。培训是一个非常计算密集的任务，通常需要几天或几周，并且对优化变压器进行了重大关注。尽管如此，现有的实现不会有效地利用GPU。我们发现数据移动是培训时的关键瓶颈。由于Amdahl的法律和大规模改进的计算性能，培训现已成为记忆束缚。此外，现有框架使用次优数据布局。使用这些洞察力，我们提供了一个用于全局优化变压器数据移动的配方。我们将数据移动降低到22.91％，总体上实现了在训练伯特编码器层和1.19x的整个伯特的最先进框架上的1.30倍的性能改进。我们的方法更广泛地适用于优化深神经网络，并深入了解如何解决新兴的性能瓶颈。
translated by 谷歌翻译
Array programming provides a powerful, compact, expressive syntax for accessing, manipulating, and operating on data in vectors, matrices, and higher-dimensional arrays [1]. NumPy is the primary array programming library for the Python language [2,3,4,5]. It plays an essential role in research analysis pipelines in fields as diverse as physics, chemistry, astronomy, geoscience, biology, psychology, material science, engineering, finance, and economics. For example, in astronomy, NumPy was an important part of the software stack used in the discovery of gravitational waves [6] and the first imaging of a black hole [7].Here we show how a few fundamental array concepts lead to a simple and powerful programming paradigm for organizing, exploring, and analyzing scientific data. NumPy is the foundation upon which the entire scientific Python universe is constructed. It is so pervasive that several projects, targeting audiences with specialized needs, have developed their own NumPy-like interfaces and array objects. Because of its central position in the ecosystem, NumPy increasingly plays the role of an interoperability layer between these new array computation libraries.
translated by 谷歌翻译